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Моделювання в клас! систем регреслйних рвнянь 
в умовах структурно! невизначеност! 


Для моделирования в классе систем регрессионных уравнений предложен системный критерий регулярности с 
разбиением выборок наблюдений на обучающие и проверочные подвыборки. Доказано существование 
оптимального множества регрессоров. Выявлено условие редукции оптимальной системы регрессионных 
уравнений, которое зависит от параметров системы регрессионных уравнений и объемов выборок. 
Ключевые слова: неопределенность по составу регрессоров, 

системный критерий регулярности. 
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Введение 


Задача построения системы регрессионных уравнений в условиях структурной 
неопределенности по количеству и составу входных переменных в уравнениях яв- 
ляется одним из объектов исследования в методе группового учета аргументов (МГУА) 
[1-8], который разработал академик НАН Украины А.Т. Ивахненко. Метод основан на 
разбиении выборки данных на обучающую и проверочную части: на обучающей 
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выборке оцениваются коэффициенты модели, а на проверочной оценивается качест- 
во модели. Обычно в МГУА применялись различные свертки внешних критериев 
отдельных регрессионных уравнений. В работе разработан системный критерий 
структурной идентификации, при построении которого коэффициенты системы 
регрессионных уравнений оцениваются совместно. 

Известным критерием качества для систем регрессионных уравнений является 
многомерный аналог информационного критерия Акаике [9]. Его недостаток состоит 
в том, что он построен в предположении, что все выходные переменные объекта 
определяются общим множеством входных переменных. В прикладных задачах могут 
встречаться объекты более широкого класса, когда выходные переменные могут 
определяться разными подмножествами входных переменных. Поэтому актуальной 
задачей является построение и обоснование критерия структурной идентификации 
для систем регрессионных уравнений такого класса. 


Априорные предположения об объекте 


Пусть статический объект описывается множеством т входных переменных 
Х ={х1,^....Хт} и множеством й выходных переменных У ={ (1), у(2),...,У(й)}. 
Пусть модель объекта представляет собой систему регрессионных уравнений 


т(К)о 


= У +6) = > 9) х (®)+Е(®), &=1,2....Й, (1) 
1= 


где К — номер выходной переменной; Й — число выходных переменных; у(А) — 


[6] 
измеряемая с ошибкой А-я выходная переменная; у() — незашумленная (ненаблюдае- 
мая) составляющая А-й выходной переменной; &(К) — ненаблюдаемая аддитивная 
случайная составляющая в К-Й выходной переменной; х 7 (К) — /-я входная пере- 
менная из множества входных переменных Х(А)=@© (© - пустое множество), 
участвующих в формировании у(А); т(К) — число входных переменных, принадле- 


жащих множеству Х(К); 9(®) = (1.62 (©, м. — вектор неизвестных 
коэффициентов. 

Пусть в результате наблюдения объекта для каждой выходной переменной 
У(®), К=1,2,..,й, получены: 1) Х(К) - (ихт(К))-матрица и наблюдений т(К) 
входов множества Х(А), имеющая полный ранг, равный т(К); 2) У(Е) —- (ихП- 
вектор наблюдаемых значений выходной переменной у(К). В соответствии с моделью 
(1) для наблюдений выполняется 


У(А) = УК) +Е(®) = х(68 (4) ЕЕ ЕЙ (2) 


о 
где у(А) — (их!) -вектор ненаблюдаемых незашумленных значений ( -й выход- 
ной переменной; &(^) — (их!) -вектор ненаблюдаемых аддитивных случайных состав- 


ляющих в наблюдениях К -й выходной переменной. 
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Пусть векторная случайная величина Е = (Е(1),Е(2),....Е(р))Г распределена по 
й -мерному нормальному закону: & —- №(0,,У), и относительно (их1)-векторов &(А) 
выполнено 


ЕЕК} =0,, Е(ЕКЕТ()} = ош Ти, К=1,2,...Й; (3) 
ЕЕК (а = сы 1, #,9=12,..й, Ка; (4) 
Е{Е я (®)6ь (К) =0, 1,12 =1,2,...П, ИЕЬ, (5) 


где Ё{.} — знак математического ожидания по всем возможным реализациям 
случайных векторов &(К) и (4); 0, - (йх1-вектор, состоящий из нулей; од — 
неизвестная конечная величина, дисперсия случайной величины &(А); 6), — не- 
известная конечная величина, ковариация случайных величин &(К) и (4); 1 - 
единичная (ихп) -матрица. 


Вывод формул для оценивания коэффициентов 


Запишем (2) в объединенном виде. Введем обозначения: 


У) У 9) 80 
Се * || 8-00 _| 3) 
у=| (2), у=| У(2)|, 0=| 92), &5=|-2---|, (6) 
о р ее —. 
У(#) У(й) 0() и 
Г ха) | Обхто) | *** | Окт) 
те Охта) Хе) х Окт) а) 
| Охта) О (ихи(2)) в Х(й) 


где у - объединенный (№Мх-вектор наблюдаемых зашумленных значений; 


(о) (6) 

у -(Мх)-вектор ненаблюдаемых значений; 0 — (Мх])-вектор неизвестных коэф- 
фициентов; & —(№х1) - вектор ненаблюдаемых случайных аддитивных составляющих; 
В - объединенная (№Мх М) -матрица регрессоров; М =ий; М =т(+ т(2)+...+ т(й). 


С учетом (6), (7) систему Й регрессионных уравнений (2) можно записать 


о о 
у=у+5=В0+6. (8) 
(о) 
Необходимо найти оценку неизвестных коэффициентов 0 в виде 
а(1) а(&.1) 
9(2) 9(А,2) 
а=Су, а=|----|, а®=|--—^ |, Е-Ь2..В, (9) 
а(й) а(А. 1) 


где (М хМ) -матрицу С, которая зависит от В ‚ требуется определить. 
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Будем искать такую матрицу С, при которой логарифм определителя ковариа- 
ционной матрицы оценки коэффициентов (9) принимает минимальное значение и 
оценки коэффициентов несмещены. 

Математическое ожидание и ковариационную матрицу оценки (9) вычислим по 
всем возможным реализациям случайных величин &(К), К =1,2,...,й. Для математи- 
ческого ожидания оценки (9) должно выполняться 


Е{а} = {Су} = Е(С(у+0} = (СВ8} + Е{С =6. (10) 
Справедливость (10) следует из условий 
СВ =Ти, Е{С8} =0м, (11) 


где первое — требование несмещённости оценок, а второе — требование незави- 
симости элементов матрицы В от величин &(А), К =1,2....,й ‚ с учетом (3). 


Пусть Хе: — ковариационная матрица введенного в (6) объединенного (Мх])- 


вектора ненаблюдаемых аддитивных случайных составляющих &. Тогда для кова- 
риационной матрицы вектора оценок (9) выполняется 


Со\(а) в а-фа- | Всзрс- сс" (12) 


где Ё{.} — операция математического ожидания, введена при вычислении (10). 
Запишем функцию Лагранжа 

КС, Л) = ш(аеСх.С" ]) + и [А(СВ 1, (13) 
где А - диагональная — (М хМ)-матрица неопределенных множителей. 
Тогда необходимые условия оптимальности имеют вид: 


9 _ о тр) +-2 | 

— =—_(ш(ае[сх;С ]) |+ — Ш[^А(СВ-Т =О р 

5С < (Че|СУ: р) 5С [^4(СВ-1))=Омьх а 

9 _ д | 

—=—_и[А(СВ-Т =СХ -Г; =О : 

ВЕТ [^( м)] м =Омхм 

Применяя правила матричного дифференцирования, из (14) получаем 

СЕТЕ ВТ". (5) 


Для математического ожидания и ковариационной матрицы оценки выполняется 


Е{а} = Е{Су} = ЕКВ ЕВЕ (В0+Е}-6, (16) 


Со (а-6)(а-6)"} = 
РЕКЕ ЕЮ "В ХЕ ЕТ: ВВ ЕВ) ЗВ ЕВ". (7 
Вычислим ковариационную матрицу УЕ › Т.е. дисперсии И ковариации случай- 
ных величин &,(К), 1=1,2.....п, К=1,2,...й. Учитывая (3) - (5), получаем 
Е4ЕСПЕТ (0 | Е{Е (ЕТ (2)} 1... 1 ЕТ} 
ЕВЕ (ОЕ (21 26 №} |5 | 18) 


а 


ВЕЕТ} | Е(ЕЕТ О) |. | ЕЕЕТ (В 


где Г, —единичная (ихи) -матрица; У» ®Т, -— кронекеровское произведение матриц. 
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Из (6) - (18) следует, что для оценок к выполняется: 


(= Сьу= хе У(4) = о Си в ‚34 - 


9=1 9=1 


й 
-У 3 Ев) |] [вт Хх: 'в] 8 0(4) + 


+ у [(втхю- | вх | 04+ сы 9 = + сы 59. (9) 
х 
где использованы свойства, которые следуют из равенства НхН7 | = ; 


р 1, К=а: 
иаыжингы = вы! (0) 


РА 0, если К*4. 


Системный критерий регулярности МГУА 


Ранее предполагалось, что подмножества регрессоров, участвующих в форми- 
ровании каждой из выходных переменных, заданы. Далее будем предполагать, что 
они неизвестны, и их требуется определить, т.е. рассмотрим задачу структурной 
идентификации. Для описания структуры системы регрессионных уравнений введем 
структурные матрицы, смысл которых поясним на конкретном примере. Пусть на 
значение выходной переменной с номером К влияют первый, второй и четвертый 
регрессоры в исходном заданном множестве регрессоров Х, число которых т=5. 
Тогда матрицу регрессоров Х(А) в системе регрессионных уравнений (1) - (20) можно 


записать виде произведения 


Г | 92) м3) | 49 1 265] ротой | 9 @) | м) | 4 
ха | 22) | 28) | 4) | 22) |--т| |2) 2@) | о 

Хх =Х5(®)=|_: ИЕ о РЕ т „(21) 
2 | х2) | (3) |4) | хот ОЕТОЕХ 
а А: ПВ: ВВ: о Е 
О) ужо от щель 


где (5х3) -матрица 5(К) и представляет собой структурную матрицу, отражающую 
влияние первого, второго и четвертого регрессоров на А -ю выходную переменную. 

Пусть информация о том, какие именно регрессоры определяют значения каждой 
выходной переменных в законе функционирования объекта (1), (2), представлена 
набором структурных матриц 


[6 о о (о) 
= {3 (1),5(2)....,3(й)}, (22) 
которые могут быть различными для разных выходных переменных. С учетом введен- 
ных структурных матриц закон функционирования (2) можно записать 
(6) о [е) [е) о 
у(^) =У(К) + Е (К) = ХУ(К)0(^) + (К) =В(5,^)0(^)-+Е(К), К =1.2.....Йй, (23) 
где Х- (ихт)-матрица регрессоров множества Х; у(К)- (их|)-вектор 
наблюдаемых значений выходной переменной у(А). 
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Далее предполагается, что множество Хи матрица Хх заданы, а структурные 


о 
матрицы У(К), А =1,2,...,й ‚ неизвестны и их требуется определить. Пусть 
© = {$3 (1),5(2)....,3(й)} — (24) 
набор структурных матриц, которые соответствуют текущей структуре модели — одной 
из структур, перебираемых по алгоритму полного перебора всех структур; 5(^)< р — 
число регрессоров в А-ом регрессионном уравнении, К =1,2.....й; р — заданное 
максимально возможное число регрессоров в регрессионных уравнениях. 

Пусть имеются две выборки наблюдений т входных переменных и Й 
выходных переменных: первую выборку (А) будем называть обучающей, а вторую 
(В)- проверочной. На обучающей выборке будем оценивать параметры системы 
регрессионных уравнений с текущей анализируемой структурой, а на проверочной 
будем оценивать качество этой построенной модели. 

Введем для этих выборок обозначения 


У( 4,1) В(4,5;1) | Оки) | *°* | Оки) 
в У(42) ‚ вая) - От) Е(4,5:2) > От) ‚ 05) 
УСА.) О(ихт(1)) ! О(ихт2)) ! -*` | В(4,5;Й) 
где В(4,5;А) = Х(4)5(), К=1.2,...,Й; 
У(В,1) В(В,5;1) | О(хи(2у) |" О(ихт() 
а У(В2) ‚ вв5)- Оихи (1) ®(В,5;2) _ Оихт)) ‚ 06 
У(В,П) О(ихт(1)) ! О(ихт(2)) ! `` ! ВСВ,5;Й) 


где В(В,5;К) = Х(В)5(К), К=1,2,...,Й. 
Итак, на выборке А оцениваем коэффициенты 


^ й о й 
4(4,5;К) = Су. (4,5) (А) = >С. (4,5) у(4,4) =0(®) + УСь (4,5) (4,4), (27) 
4=1 4=1 


где использовано свойство (19). 
С учетом (19) и (23) для (и(В)х1)-вектора остатков на выборке В имеем 


^ ^ 
и(В/ 4,5;К) = У(В,К) -У(В/ 4,5; К) = У(В,К) - В(В,5;К)9(4,5;К), (28) 
где у(В,К) — (и(В)х1) -вектор наблюдений выходной переменной с номером А 


^ 
на проверочной выборке В; ип(В) — объем проверочной выборки; у(В/А,5;К) — 
(п(В)х1) -вектор выходов К -й регрессионной модели на выборке В, рассчитанный по 


модели, оценки коэффициентов которой получены на обучающей выборке А в (27). 
В соответствии с (19) и (23) для вектора остатков (28) выполняется 


и(В/А,5:К) =5(В/4,5: К) + Е(В,К)-В(В,5; К) >С, (4,5) (4,4). (29) 
9=1 
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где 6(В/А,5;К) — (их 1) -вектор отклонений (так называемое смещение, обуслов- 


о 
ленное выбором текущей структуры 5 вместо истинной 5 ): 


о р о 
9=1 
Объединим (и(В)х1) -векторы остатков (29) в (и(В)хй) -матрицу: 
0(В/ 4,5) = [4(В/4,5;1),(В/А,5;2),....м(В/А,5,й) |} (31) 
Введем матрицу ковариаций остатков (29) 
У\(В/А,5) = 01 (В/ 4,5) 9(В/ 4,5) : (32) 
Определение [. Случайная величина 
АЮ5(5) = ‚(вы [№(В/4,5)| ) (33) 


называется системным критерием регулярности МГУА для системы регрессионных 
уравнений [10], [11]. 

Определение 2. Оптимальным множеством регрессоров называется множество 
регрессоров, соответствующее набору структурных матриц 5%: 


5% =ав пуп  Е{АВ5(9)}, (34) 
5” (т,р) 


где 5“ (т, р) - множество всевозможных наборов структурных матриц при за- 
данном множестве т регрессоров Х и заданном максимально возможном числе 
регрессоров в регрессионных моделях р. 

Определение 3. Оптимальной по количеству и составу регрессоров называется 
система регрессионных уравнений, построенная на множестве регрессоров, которое 
соответствует набору структурных матриц 50. 


Вычислим математическое ожидание матрицы ковариаций остатков (32). Для 
(К, 4) -элемента этой матрицы выполняется 


0, (В/4,5) = [ЕЗОТ(в/ 4,9)0(В/ 4,5} = 
ТВ д.5: К) (ВИ 4.50 +Е ВЮВ, || 


й 
= ча [ вазы) сиу ||- 
5=1 


= 


й т 
= озюоилни] кая + 


т 
тЕ ово ния] Гирзно Зенон . (35) 
5=1 


и=1 
Для второго слагаемого в (35) выполняется 


ЕЕ (ВЮЗ(В, 9) |= (Во, (36) 


а третье и четвертое слагаемые равны нулю, поскольку &(А) и &(В) независимы. 
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Учитывая 
С, (4,5) = (В "(А.З ВА, ЗУ ВТ (А, 5) о (37) 
С (4,5) = ВАХА), р (38) 


используя равенство [Су (А.Г = [СТА 5 и симметричность матрицы »%, для 
пятого слагаемого в (35) получаем 


=] х У Сь (А.Г ВТ(В, 55) ВСВ, 5:9) С, (4,5) (4,5) = 


и=| 5=1 


й й 
Ух [С (4, ВТ (В,5: Кс, В(В,5:9)© (4,5) |= 
т 
= и[ ВВ, ОЕТ (ЕВ, ВТ(В,5Ю | = 


= [| ВСВ, [В 94,5] ВТ(В,5;9) |. (39) 
Подставляя в (35) выражения (36) и (39), получаем 
@,„(В/4А,5)= 5'(В/А,5:К)6(В/ А,5:4) + 


+и(В)о у, + |В(В,5) (ВТ (4.5) Хх: В(4,5)) В (В,5) А (40) 


Будем предполагать, что мы находимся в условиях активного эксперимента и 
можем организовать схему повторных наблюдений [12], [13]: для заданных значений 
входных переменных проводится пара наблюдений выходных переменных, причем 
«первые» наблюдения каждой пары образуют выборку А, а «вторые» наблюдения — 
выборку В , т.е. в этой схеме выполняется: 


п(А) =п(В)=п, В(4,5) = В(В,5) =В(5), (41) 
В(4,5;^) =В(В,5;К) =В(5;^) =Х5(К), К=1,2,...,Й. (42) 
Для (40) с учетом (41), (42) выполняется 


©, (В/ 4,5) =6"(В/ 4,5; К) (В! 4,5;4)+по и + | В(5)(В'(5)5='В($)" в" (9 | .(43) 
ЗАВ С ыы ь 
Вычислим третье слагаемое в (43) 


— — — =— 
=— =— == 


й 
=и | В(5,К) У [вт (5) ХЕ В($)) "В" (5) УЕ | ый = 
[=1 


= | х вхо" сора вхи, = 
= — ИВ = 


=и[ [ВВС В") В) ло | = 


они [1щю | =т(®оц. (44) 
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Для (А,4)-элемента ковариационной матрицы (43) с учетом (44) выполняется 


@,„(В/4А,5) — 5'(В/А,5;К)5(В/ А, 5:4) +(п-+ (К) ба р (45) 
В целом для ковариационной матрицы ©(В/ А,5) получаем 
011(и+1(1)) в12(и+т(0) :. @(п+т()) 
аа 621 (п . т(2)) 62(п . т(2)) - бл (п т(2)) (46) 
ои(и+т(й)) в,2(п+т(й)) -- в)(и+т(й)) 
или 
О(В/ 4,5) =А(В/ А, 5) +п Х + Ча {т(Г),т(2),....т(й}х», (47) 


где [А] „(В/4,5)=61(В/4,5;К)8(В/ 4,5;4), К,а=1,2,...Й. 


(о) 
Для случая совпадения текущей структуры 5 с истинной 5 получаем 


9 (В/ 4,5) = (п+т()о ци, (48) 
о(В/ А. $) =пх + Фав{т(),т(2),...т(®хх. (49) 


Исследование системного критерия регулярности МГУА 


Установим свойства системного критерия регулярности МГУА, и с этой целью 
исследуем, как изменяется математическое ожидание критерия в зависимости от 
состава множества регрессоров. Сначала рассмотрим случай, когда набор структурных 


[6 
матриц 5 совпадает с истинным набором (5 =5). Для математического ожидания 


критерия регулярности для модели с истинной структурой в схеме повторных 
наблюдений, используя (49), получаем 


Е[лвз 6$] - +] ь| в ви = п а т 5 Е 
А=1 
са арене ы [$]. Ио -в] = 
К=1 


й о й 
[а]. Почекю Пою) (50) 
й Г А 

Для математического ожидания критерия регулярности модели с текущей стру- 

ктурой 5 в схеме повторных наблюдений, используя (47), получаем 

Е{ АВ$ (5) }= ЕЕ (Чеё [\№(В/4,5)])}= 
в 
= = де [^(В/ 2,5) + Фаз {п+ т(0),п+ т(2),....п+т(й)} хх |. (и 5) 7.50) 
= 

При вычислении в (50) и (51) математического ожидания определителей матриц 


о 
У\(В/А,5) и У\(В/А,5), имеющих распределение Уишарта, применены результаты 
[14, с. 236, 237]. 
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1С 


Случай недостающего регрессора. Рассмотрим случай, когда в модель для 
переменной с номером Й ошибочно не включен один регрессор, и для определен- 
ности будем считать, что это регрессор с номером т из множества Х. Тогда для 
текущих и истинных структурных матриц выполняется соотношение 


(о) (6) 
$(®) =5$(®), =1,2,....й-1; $8(й)=[$()!$ |, (52) 
(о) о 
где 5(й) — структурная (тх т(Й)) -матрица истинной модели (регрессионного 
о 
уравнения) для переменной с номером И; З(Й) — структурная (тх(т(й)-1)) — 


матрица текущей модели; $ — (тх1) - вектор, для которого выполняется 


$= (0,0,...,0,1)Г. (53) 
Сначала вычислим математическое ожидание критерия регулярности в случае 
недостающего регрессора. Вычислим (йхй) — матрицу А(В/А,5) в (51) 


О 10 
мегля-| и - | (54) 
0 Арр 


где А}; = 5'(В/А,5:1)5(В/ А, 5: В); 6(В/А,5;й) — введенное в (30) так называе- 


(о) 
мое смещение, обусловленное выбором текущей структуры 5 вместо истинной 5. 


В схеме повторных наблюдений ДЛЯ объединенного вектора смещения имеем 
(о) о оо оо 
5(В/ 4,5) =У(В)-В(5)С(5)у(4) = В(5)0- В(5)С($5)В(5)0 = 


- В(5)0- В(5) В" (5) 52 ВС) ВТ) Е ВС). (55) 


о 
Для матриц регрессоров, соответствующих наборам структурных матриц 5 и 


5 в (52), выполняются соотношения 


о 
В (5, =В($,Ю), Е =1,2,....Й-1, (56) 


о о 
в (5,1) = Х5() = Х[5 (А) | $ |= [Х5(®) | Хз |= (5,1 ш|, (57) 
где ш — (их!) - вектор наблюдений пропущенного регрессора. 


[6 
Для матриц В(5) и В(5) ‚ с учётом (56), (57), получаем 
Ге) 

в(9)=[В(9) 188], 8. =(01,07,... шт), (58) 
где бр — (№Мх!) - вектор. 
Учитывая (58), (55) можно записать 

о о 
5(В/ 4,5) = [В(5) | 8к|9-В(5) (В (5); В (5) В" (5) [В(9) | 610 = 
[о] 
= 0 о 1!мМ5)6,р |0, (59) 
мЖМ-1 ! 

где М(9) =П» -В(5)(В ' (5) УЕ! В(5)) "В" ($) ХЕ! — идемпотентная матрица. 
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Учитывая (52), (59) и соотношения 


о о 
91) _ 9(й)_ 
о о о о 
9= 9(2) |, 6()=| 62() |, (60) 
ВЕ м 
09(й) О (»)(й) 
получаем 
50 о 
Ау, =5(В/ 4,5) 1 6(В/А,5)=0"| __(М-0хм. о о М5) бр |0= 
8 мт($) |1 хм- | 
= (бт(л())* шт Ну, (9), (61) 
где 
Н(5)=М'($)М(5) = Пл -У2' В(5)(В (5) УЕ В(5)) "В" (5) 
хх -В($)(В ' (5) 52! В(5) "В" (5) Е. (62) 
Итак, в (59) — (62) установлено 
о 
А = (В/А,5:й)5(В/ А,5;Й) = (ик)? - м! Ну, ($). (63) 
Введем (йЙх1) — вектор Ъ=(0, доля )Г такой, что выполняется 


ЬЬ' = (В / 4,5), и вычислим определитель под знаком логарифма в (51), применив 
правило 4е{ [ А + 5ь Г] =ае [А] (1 +ЬГА- ь : 
с=ае А(В/ А, 5) + Ч1аз{п+т(1,п+т(2),....п+т(й)} хх |= 
= де 41аз{и+т(0,п+т(2),...п-+т(й)}хх]х 
х(1+ь"[вааи ++ ),и+т(),..п++тк®)хх = 


- де [>]. ГГ очеек) х (+ ичтоду ака! ), (64) 
= 


где Я, — (й,й) — элемент матрицы я. 


Таким образом, для ковариационной матрицы остатков в случае недостающего 
регрессора выполняется 


й 
4е1 [© (В/ 4,5) = де [Хх]. П(и+т(®))х | +(и+ тва аи?) (65) 
= 
где А}/ определено в (63). 
Теперь рассмотрим разность 
[е) о 
4, (5,5) = Е{АВ5(5)}—- ЕЕАК5($)} = 


де] - Га ио) х(+ачтеу ака") 
= 


= (66) 


Че! [п В 
К=1 
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о о 
Из (52) следует т(К) = т(К), К =1,2,....й-1, и т(й) = т(й) —1, поэтому 


А (5,5) р [еее аыуеаыуй | боя | (67) 


о о о 
Если А! (5,5)>0, то структура 5 лучше структуры 5; если Д\(5,5)<0, то 


о о 
структура 5 лучше структуры 5 ; если Д! (5,5) =0, то структура 5 лучше структуры 


(е) 
5 по дополнительному принципу простоты. 


(о) 
Выполнение Л! (5,5) <0 является условием так называемой редукции системы 
регрессионных уравнений, для которого из (67) получаем 


р а 1/2 ы ЗРЯ 
п+т(й) —1+(Ау,) У, (Ар) <и-+т(й) ИЛИ Ауд < (У\»,) я (68) 
Подставляя (63) в (68), получаем условие редукции 


(о) 
(ин) (В? тат Ну т < (УГ, (69) 
где Н), - (ихи) — матрица является (й,й) — блоком матрицы Н, введённой в 
(62); хо — (й,й) — элемент матрицы >. 


Редукция модели, оптимальной по составу регрессоров, означает, что при вы- 
полнении соотношения между параметрами модели (69) следует исключить регрессор т 
из модели для й-й переменной. Редуцированная модель будет иметь меныпую ошибку 
прогнозирования выходных переменных на новых выборках наблюдений по сравне- 
нию с моделью с истинной структурой. 

Из (69) следует, что возможность редукции модели может быть обусловлена 


о 
[е) 
пятью причинами: а) малостью нормы коэффициента 9и(»)(Й); 6) малостью нормы 
вектора наблюдений регрессора ш; в) малым объёмом выборок наблюдений п; 
г) высокой степенью линейной зависимости регрессора ш с другими регрессорами в 
1-1 
матрице В(5,й) =ХЪ(Й) ; д) большим значением величины (Уу/) . 

Случай избыточного регрессора. Рассмотрим случай, когда в текущую струк- 
туру включен излишний регрессор. Предположим для простоты, что этот регрессор 
является последним регрессором в исходном множестве входных переменных: он 
включен в модель для переменной с номером й, хотя не участвует в формировании 


ее значения. Тог да между текущими и истинными структурными матрицами выпол- 
няется соотношение 


$ =$), &=12,. 1-1; $) =[ 80) $], (70) 


[6 [6 
где 5(й) - (рхт(Й)) -матрица истинной структуры регрессионного уравнения 


(6) 
для переменной с номером й; %(Й) — (рх(т(й) +1Т)) — матрица текущей структуры; 
$ — (рх|) - вектор, для которого выполняется 


$= (0,0,...,0,1)7. (71) 
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Сначала вычислим математическое ожидание критерия регулярности в рас- 
сматриваемом случае избыточного регрессора. 


о 
Различие (70), (71) в структурных матрицах %(И) и 5(Й) приводит к тому, что 
для матриц регрессоров в условиях схемы повторных наблюдений выполняется: 


ВЮ В.Ю), &=12. 1-1 ВС=Х“В-Х 8 !81= (2) 


[6] (6) 
=[Х$(й) | Хз] =[В(5,й) тк], (73) 
где г — (их1) -вектор наблюдений избыточного регрессора. 


о 
Для матриц В(5) и В (5), с учётом (72)-(73), получаем 


о 
В(5) =[В($) 16], 8в=(01,01,..г’), (14) 
где бр — (Мх!|-вектор. 
Вычислим математическое ожидание критерия регулярности в случае избыточ- 
ного регрессора. В этом случае (йхй)-матрица А(В/А,5) в (51) - так называемое 


смещение, обусловленное выбором ошибочной структуры 5 вместо истинной 
[6] 
структуры 5, является нулевой матрицей. Доказательство этого утверждения может 


быть проведено аналогично (54) — (63). Для объединенного вектора смещения 
5(В/А,5) для случая избыточного регрессора выполняется 


6(В/ 4,5) = У(В)-В(В,5) С(4,5)У(4) = В(В.5)0-В(В,5)С(4.5)В(4.5)0 = 


- (8,5) 6-[В(В,5) | & (Вх 
ыы 


оо оо [6 т о 1 1 т 1 оо 
=В(В,5)0-В(В,5)0 -В(В,5)В-'В (5) '6 Г - 5х В ($) 0 + 
С ааа ро 
+В(В,5) ВВ (5); 8-7 |6. 52 В($)0 + (15) 
оо оо 
+6(В). Л '-5 УЕ В(5)0-б (В). Л". 6в хх! В(5)0 =0х, 
где 

2 о Е 

15) =в ХЕ вв -в 2 ВС) (В ($) 521 В($) В (9) 56 =. 52$) 88 (16) 


Ге) 
— положительная величина, поскольку матрицы ХЕ! и М(5) положительно опреде- 


лены; бр» — (№Мх!)-вектор, определённый в (74). 
Таким образом, для ковариационной матрицы остатков в случае избыточного 
регрессора выполняется 


Че © (В/А,5)|= ав]. Е, (17) 
К=1 
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Теперь рассмотрим разность 
, ас]. Пий) 
4>(5,5) = Е{АЮ5(5)} - Е АЮ5($)} = Ш т (78) 
4её [>]. [(@и+т(®)) 
К=1 


(о) о 
Из (70) следует, что т(К) = т(К), К =1.2,....й-1, т(й) = т(й) +1, поэтому 


(о) 


(и+ тп) О г (п+ (®) 
4>(5,5) =—Ш = 


= Е = г ш| 1+ г 
(ип+т(й)) | | (и+т(®)) п+т(й) 
К=1 


>0. (79) 


о 
Из (79) следует, что в случае избыточного регрессора структура 5 всегда лучше 


структуры 5 ‚ а регрессор действительно не следует включать в модель. 


Проверка выполнения принципа соответствия. Покажем, что полученное 
условие редукции совпадает с условием редукции отдельного регрессионного урав- 
нения, если предположить в (4), (5) диагональный вид матрицы » (напомним, в этом 
случае оценивать коэффициенты для отдельных регрессионных уравнений можно 
независимо, последовательно одно за другим). Если Х» диагональная, то матрица 


Ух! также диагональная, а для диагональных блоков матрицы ХЕ! в этом случае 
выполняется: 
—1 = = 
Хе (К.К) =[61| =(0щ) №, К=1,2.....Й. (80) 


Учитывая структуру матрицы ХЕ! в (80) и структуру матрицы В(5) в (25), 
(36), (41), для матрицы Н из (63) получаем 


Ни, (5) = | Пл -У2' В($)(В ' (5) 52! В(5)) "В ($) ]х 
х[1» —-В(5)(®В ' (9)! В(5)) В (9) | |. й 


=, -В(5,1)(В ' (5,1) В (5, В) В Г (5,1). (81) 
Учитывая (69) и (81), для условия редукции в случае диагональной матрицы »№ 
получаем 


2 
[би шГ Ю -В(5,1) (В ($5,1) В ($5,1) ВТ ($, В) | ш < ору, (82) 


где о,)/ — дисперсия аддитивной составляющей для й-й выходной переменной. 
Выражение (82) совпадает с известным условием редукции для отдельного 


регрессионного уравнения (см. например, [12], [13]). 
Заключение 


По принципам метода группового учета аргументов построен и исследован в 
схеме повторных наблюдений критерий структурной идентификации для моделиро- 
вания в классе систем регрессионных уравнений. Получены условия редукции (упро- 
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щения) системы регрессионных уравнений, оптимальной по составу регрессоров. 
Эти результаты обобщают результаты автора [10], [11], где при исследовании кри- 
терия дополнительно предполагалась ортогональность пропущенного (избыточного) 
регрессора истинному множеству регрессоров. Разработанный критерий является 
системным критерием структурной идентификации, при построении которого пред- 
полагается совместное оценивание коэффициентов в системе регрессионных уравне- 
ний. В частном случае независимого оценивания коэффициентов в разных регрес- 
сионных уравнениях предложенный критерий представляет собой сумму критериев 
регулярности отдельных регрессионных уравнений, т.е. он является обобщением 
системного критерия регулярности, традиционно применяемого в методе группового 
учёта аргументов. 
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КЕ5ОМЕ 
А.Р. Загусйеу 


Моаейиз т те С]1а55 о} Кеэтеззоп ЕдиаНопи5 5уяйет5 


т 5тисига Ипсететё р? Соп@тТои5 

ВасКогоипа: ТВе зузет оф геоге$$10оп едиайоп$ 15 па@опа| тафетайса! обес 
ш Фе Шеогу ап ргасйсе СМОН. Ш 80-@ уеатз оЁР Ше 1а5ё сепеагу асадеписап 
О.(. [уаКБпепКо ойеп розе4 зисВ 1азК$ ш соппесйоп ул $о-саПе4 “Фе оБесйуе зузет 
апа[уз1$ (ОЗА)” ап4 еп, аз а гше, аз зует стЦепоп о з@есНоп оЁ то4е|5 (а рагатеег 
ог апаШу ог теотеззюоп еапайоп$ зубет) уайои$ сопуоНоп$ оЁ степа ОМОН оЁ 
зерагайе геогез$10оп едиайоп$ \ете аррПе4. ТВе 4еуеоре4 сгИепоп 15 зует сгиепоп оЁ 
угасеага] 14епйЯсайоп аё у/шсеН сопзгасйоп И 1$ зиррозе4 ]ошЕ езИтайоп оЁ соеЁйслещ5 
ОР геотезз1оп едпайоп$. А{ сопзгасНоп оЁ зует стйепоп о ОМБН ]ошЕ езйтайоп оЁ 
соеЁЯс1еп $ оЁ геоге$$1оп еапайоп$ 15 зиррозеч4. 

Мажена!5 ап@ те#од$: ОБест оЁ тезеагсй 15 ргосез$ оР тодеШпе ш а с1аз$ оЁ 
зузетз оЁгеотез$1оп еапайоп$ ш соп41оп$ ог ипсецашиу оп згас@аге оф геогез$оге. 

п 15 Феогейса| агасе \ме изед е ти@уапае зайзИса| апа[уз1$, Ве геотез1юп 
апа[уз1$, бе еогу оГ тайлхез, Фе тафетайса| апа[у$15 ап Фе огоир тефо4 о{ даёа 
БапаНиае (ОМОН). 

Вези! 65: Еог тодеПпо т а с!аз$ оЁ теотезз1оп едиаНоп$ зузетз фе зует стйепоп 
ОР теоагиу ул ато оЁ обзегуайоп затр!е оп машше ап4 {езНпе забзатр!ез 1$ 
оРеге4. [4 1$ ргоуе4, ай е орНититт $61 оЁ геотеззог$ ех15{5. ТВе соп4 оп оРа тедасНоп 
ог орИтит зузет оЁ геогез$1оп едааНопз 15 оаштед. ТЬ!$ соп4Шюп 4ереп4$ оп 
рагате{ег$ оЁ зузет геогез$1оп едиаНоп$ ап4 уо[атез о затр|ез. 

Сопеш$10оп: Те деуеоре4 зузет стИепоп оЁ теошШагИу аПо\из зо]уше а ргоМет 
ог згасфага| 14епйЯсайоп ш а с|аз$ оЁ зузет$ оЁ геотеззюп едиаНоп$ ап сап Бе 
гесоттепде4 а{ Фе деслз1оп оЁ уато$ зс1епиЙс апа ргасйса| ргоЫетп$. 
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